Position Bias Correction is Insufficient for One-Pass Attention Sorting
位置偏见修正不足以替代迭代注意力排序
🧭 RAG 上下文重排中的位置偏失去偏 ★ 深度解读
Analemma
去偏单次注意力排序在高偏置模型上可小幅提升，但仍远不及迭代排序，仅弥补 37% 的精度差距
📌 工作参考价值（4 点）
- 轻量级文档重排 trick：在长上下文 RAG（如多文档问答）中，仅用一次 decode 的注意力权重即可对文档排序，计算代价极小，可作为生成前的轻量重排模块，且效果接近单次注意力排序基线。
- 提示级位置偏曲线估计：利用同一 prompt 中低注意力文档（剔除 top-α）分箱聚合（中位数或均值）来估计位置偏置曲线，再用减法或除法校正原始注意力分数。这一思路可直接迁移到需要对抗位置偏见的生成式推荐或搜索摘要场景，无需额外训练或外部数据。
- 迭代 vs 单次的取舍：结果表明，对于位置偏置不严重的模型（如 LLaMA‑2‑32K‑Instruct），单次注意力排序已足够，迭代排序带来的增益极小（0.6pp 以内），可节省多轮生成的计算开销；对偏置严重的模型（如 YaRN），仍需要迭代排序才能获得较大收益，但可先尝试去偏一次排序，若效果不足再增加迭代。
- 注意力排序的部署成本控制：若业务对延迟敏感（如实时推荐搜索）且使用偏置较弱的模型，可直接用单次排序（1 sort+1 gen），仅需一次前向和一次生成，大幅降低延迟，避免 5 次 sort‑and‑generate 的代价。